Metric	Score
Weighted-F1	78.37
Hyphens-F1	57.50
Comma-F1	76.36
Ellipsis-F1	0.00
Fullstop-F1	85.65
QMark-F1	69.23
Colon-F1	77.19
Excl-F1	0.00

Metric	Score
Weighted-F1	73.84
Hyphens-F1	48.80
Comma-F1	72.85
Ellipsis-F1	100.00
Fullstop-F1	81.86
QMark-F1	70.36
Colon-F1	70.57
Excl-F1	0.00

Metric	Score
Weighted-F1	82.32
Hyphens-F1	63.14
Comma-F1	78.63
Ellipsis-F1	100.00
Fullstop-F1	89.01
QMark-F1	77.78
Colon-F1	80.17
Excl-F1	0.00

Metric	Score
Weighted-F1	78.55
Hyphens-F1	60.24
Comma-F1	77.39
Ellipsis-F1	100.00
Fullstop-F1	87.72
QMark-F1	76.00
Colon-F1	56.53
Excl-F1	0.00

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-B Comma-F1
1	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-CO…	O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O …	25.00
2	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	29.63
3	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	30.77
4	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O …	33.33
5	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	38.71
6	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O …	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	40.00
7	wikinews180020 polska edycja wikinews wolnego źródła informacji opartego o technologię wiki ma już rok na początku 2005 roku po dyskusji na …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O B-COMMA O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O B-COMM…	47.62
8	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-COMMA O B-COMMA O O …	O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O …	48.65
9	wikitalks001598 co za bzdura z tym że saiyanom nie rosły włosy może na głowie ale nie dotyczy to zarostu połowa saiyan miała zarost chyba ni…	O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O …	O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O …	48.78
10	wikinews231413 między 15 a 18 lipca 2007 roku lech kaczyński wraz z małżonką odbył podróż do stanów zjednoczonych w pierwszym dniu wizyty ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-…	50.00
11	wikinews189958 w minionym tygodniu rozpoczęła się w chinach budowa bloku elektrowni jądrowej ningde 4 na dwóch innych placach budowy reaktor…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
12	wikinews227876 " uroczyście ogłaszam poniedziałek dniem radości narodowej awans do mistrzostw europy 2008 to historyczny moment " powiedział…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA …	50.00
13	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O B-COMMA O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O …	51.85
14	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-…	52.63
15	wikinews232784 apelem o jak najszybsze sfinalizowanie rokowań prowadzonych w ramach negocjacyjnej rundy dauha zakończył się szczyt 21 państw…	O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O …	53.33
16	wikinews188420 w dniach 9 12 lipca w bielawie w województwie dolnośląskim odbył się po raz jedenasty zlot miłośników literatury j r r tolkie…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-CO…	54.55
17	wikinews184403 z powodu wykrycia infekcji gronkowca złocistego u siedmiu noworodków w wojewódzkim szpitalu specjalistycznym we wrocławiu zam…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMM…	54.55
18	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O B-COMMA O O O O …	55.17
19	wikinews226523 15 kwietnia 2013 na warszawskiej giełdzie papierów wartościowych ruszy nowy system giełdowy gpw po 13 latach zmienia system k…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O B-COMMA O O O O O …	55.56
20	wikitalks0011067 o ile mnie pamięć nie myli bo wpis ten zniknął z historii dyskusji autorem tej zadziwiającej mnie treści był wikipedysta wi…	O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O …	58.33
21	wikinews230021 francuzka amelie mauresmo czwarta rakieta świata przegrała w pierwszym swoim meczu turnieju tenisistek w rzymie jej pogromczy…	O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O B-…	O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA B-COMMA B-COMMA O O O O O O O O O O O O O B-COMMA O O O O …	58.82
22	wikitalks0017422 dlaczego w histori nie ma wspomnienia o grabarzu i jego torturach 5077 70 8 pewnie dlatego że nie dotarli do odpowiedniej l…	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O …	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O …	58.82
23	wikitalks0013650 zastanowiłbym się czy nie doprecyzować nazwy np podziemia rynku w krakowie lub podziemia rynku głównego w krakowie dla krak…	O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O …	59.46
24	wikinews180045 bogdan rymanowski odszedł z faktów tvn według spekulacji miał zastąpić kamila durczoka na stanowisku prezentera wiadomości w …	O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	60.00
25	wikinews196680 28 lipca odbędą się w krakowie w hotelu galaxy targi kariera programisty targi organizowane są cyklicznie przez firmę careerc…	O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O …	60.00
26	wikinews180554 na 5 5 km prologu w düsseldorfie zawodników przywitała nie najlepsza pogoda czasami nawet utrudniała ona bardzo jazdę specjal…	O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-…	O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O …	60.87
27	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	61.54
28	wikinews229330 28 i 29 marca w zakopanem odbyły się zawody w slalomie kobiet i mężczyzn w ramach tradycyjnego memoriału bronisława czecha i …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA B-COMMA O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O B-COMMA B-COMMA B-COMMA B-COMMA O O O O O O O O O O …	61.54
29	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	62.50
30	wikitalks005743 boże widzisz takie hasło i nie grzmisz gdzie moderator taki tekst nie powinien się gdziekolwiek ukazywać jest straszny pod k…	O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O B-CO…	B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O …	62.86
31	wikinews231720 na dzień otwarty z okazji dnia rodzicielstwa zastępczego zapraszają pracownicy miejskiego ośrodka pomocy rodzinie w słupsku z…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O B-…	63.16
32	wikinews229677 brytyjska policja aresztowała mężczyznę podejrzanego o dokonanie mordu na 5 prostytutkach na terenie miasta ipswich we wschod…	O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O …	63.16
33	wikinews239127 rosyjska agencja kosmiczna roskosmos podpisała wczoraj z rządem indii porozumienie o wspólnych badaniach i eksploracji księży…	O O B-COMMA B-COMMA O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O O O B-COMMA O O O O O B-COMMA B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O …	63.64
34	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-…	O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O …	64.71
35	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O B-COMMA O O O O O O B-COMMA O O O B-COMMA O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O B-COMM…	O O O B-COMMA O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA …	64.86
36	wikinews237934 podczas wczorajszego nabożeństwa w meczecie w rafah lider radykałów salafickich z ugrupowania dżund ansar allah abdel latif m…	O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMM…	66.67
37	wikinews179014 w gdańsku zgodnie już z coroczną czerwcową tradycją odbył się wielki przejazd rowerowy ulicami miasta początek przejazdu ma m…	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	66.67
38	wikitalks001699 wnioskuję o usunięcie części pt " linki zewnętrzne " ponieważ po kliknięciu na link nie otwiera się żadna bibliografia bkwg …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O …	O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O …	66.67
39	wikinews229669 w sądzie w pekinie producent ciężarówek man złożył pozew przeciwko firmie zonda z chińskiej prowincji jiangsu przedmiotem spo…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O …	66.67
40	wikinews180419 w poniedziałek w kolonii w meczu 1 8 finału szwajcaria została wyeliminowana z turnieju przez ukrainę w konkursie rzutów karn…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	66.67